跳到主要内容

RLHF与偏好对齐

SFT 之后模型学会了对话,但离"用起来舒服"还差一步。这一步叫对齐(Alignment)——把模型的输出往"人更喜欢的方向"调。

对齐的经典方案是 RLHF(Reinforcement Learning from Human Feedback)——用人类反馈做强化学习。它是 ChatGPT 之所以是"ChatGPT"的关键一步。这一章我们把 RLHF 的三步走一遍,然后看它的简化版 DPO 为什么最近这么火。

1. SFT 为什么不够​

SFT 已经能让模型对话了,为什么还要 RLHF?

SFT 只给了"正例"。它告诉模型:这个问题应该这么回答。但它没告诉模型:这些答案不好、这样回答会让人不喜欢。

很多"喜好"没法用示例表达。比如"回答不要太啰嗦"、"不确定的时候要承认"、"不要过度自信"——这些细腻的偏好,你没法通过写几条 SFT 数据教会模型。

SFT 的数据分布问题。SFT 数据大多来自"人写的完美回答",但模型自己生成的分布和这个不一样。SFT 的时候模型见到的输入永远是人类写的,但推理时它输入的是自己(或用户)写的——训练/推理分布不一致(distribution shift)。

RLHF 的思路很直接:不告诉模型"应该写什么",只告诉模型"哪个更好"。让模型自己去探索,我们只做打分。

2. RLHF 的三步​

InstructGPT 论文里把 RLHF 分成三步。ChatGPT、Claude 都是这个框架。

第一步:SFT(前面已讲)。用高质量对话数据把 base model 变成 chat model。这一步是 RLHF 的起点。

第二步:训练奖励模型(Reward Model, RM)。让人对模型的多个回答排序,用这些排序数据训练一个打分函数——输入 prompt 和 response,输出一个标量分数,代表"这个回答有多好"。

第三步:用 RL 优化 SFT 模型。以 RM 为奖励信号,用强化学习(一般是 PPO)优化 SFT 模型,让它生成的回答在 RM 上得分越高越好。同时加一个 KL 约束,防止模型跑偏。

三步走下来,就是一个对齐好的模型。下面把这三步一个一个展开。

3. 奖励模型:把偏好变成分数​

问题:怎么把"人的偏好"转成一个可训练的信号?

答案:让人对多个回答排序,然后训练一个模型来重现这个排序。

数据长这样:

Prompt: 什么是熵?
Response A: 熵是热力学中衡量系统无序程度的物理量……
Response B: 就是乱的意思吧。
Response C: 熵是一个热力学量,物理学家发明的概念。(这里省略了一大段)……

排序: A > C > B

对每个 prompt,人类标注员看多个模型生成的答案,给出偏好排序。这就是训练 RM 的数据。

RM 的结构:拿一个(一般更小的)语言模型(比如 6B)当骨架,把最后的 LM head 换成一个 标量输出头——输入一个"prompt + response"序列,最后位置的 hidden state 过一个线性层,得到一个数。

训练目标:成对比较损失(Pairwise Ranking Loss)。给定一对(chosen, rejected),我们希望 RM 打的分数:

r(chosen)>r(rejected)r(\text{chosen}) > r(\text{rejected})

用 Bradley-Terry 模型建模,loss 是:

LRM=−log⁡σ(r(chosen)−r(rejected))\mathcal{L}_{\text{RM}} = -\log \sigma(r(\text{chosen}) - r(\text{rejected}))

其中 σ 是 sigmoid。这个 loss 说的是:chosen 的分数越大于 rejected,loss 越小。

RM 训练几个 epoch 后,它就学会了"哪种回答分数高"。它输出的绝对值没意义,但相对大小是有意义的——用作后续 RL 的奖励信号。

4. PPO:怎么用 RM 训主模型​

有了 RM,我们要让 SFT 模型生成的回答在 RM 上得高分。这是一个强化学习问题:

  • 状态:当前生成到的位置和上下文;
  • 动作:下一个 token;
  • 奖励:整个 response 生成完之后,RM 给一个分数(sparse reward,只有在结尾给)。

为什么用 PPO(Proximal Policy Optimization)?

PPO 是一种 policy gradient 方法。它的核心特征是每次更新只往"当前策略"附近调整——通过一个截断项限制更新幅度。这个特性对 RLHF 很关键,因为我们不希望模型跑得离 SFT 太远(跑远了模型质量会崩)。

RLHF 的 PPO 损失(简化版):

LRL=Eτ[r(x,y)−β⋅KL(πθ∥πSFT)]\mathcal{L}_{\text{RL}} = \mathbb{E}_{\tau}\left[r(x, y) - \beta \cdot \text{KL}(\pi_\theta \| \pi_{\text{SFT}})\right]

拆开看:

  • 第一项 r(x, y):RM 给的分数,我们要最大化它;
  • 第二项 KL(π_θ || π_SFT):当前模型和 SFT 模型的 KL 散度——防止模型跑偏,跑偏了就惩罚。β 是权重(一般 0.01-0.1)。

KL 约束是 RLHF 的灵魂。没有它,模型会疯狂地生成"RM 分数高但看起来奇怪"的输出——reward hacking。RM 只是"人偏好"的近似,你如果只优化 RM,模型会找到 RM 的漏洞,输出一些能骗过 RM 但人看着并不好的内容。KL 约束把模型拴在 SFT 附近,防止过度优化。

5. RLHF 训练时的四个模型​

真正跑 RLHF 时,显存里同时有四个模型:

  1. Actor(策略模型):正在训练的主模型,也就是最后要交付的那个;
  2. Reference(参考模型):SFT 版本的冻结副本,用来算 KL;
  3. Reward Model:给回答打分的模型(冻结);
  4. Value Model(价值模型):估计"当前状态未来能拿多少奖励"的模型,PPO 需要它。

四份大模型同时在一张 GPU 上,显存爆炸。所以 RLHF 特别贵——训练开销是 SFT 的 5-10 倍。这也是为什么后来有 DPO 这种简化方案。

6. RLHF 的效果和问题​

做对了会怎样:

  • 回答更"符合人喜好":更礼貌、结构更清晰、恰当地承认不确定;
  • 拒绝不合适的请求;
  • 输出更稳定、格式更一致;
  • 主观评分(Elo 排名)明显高于纯 SFT。

做错了会怎样:

  • Reward hacking:模型学会"骗 RM"。经典例子:RM 给长回答更高分(因为人偏好详细回答),模型开始灌水,回答越写越长,实质内容没变多;
  • Mode collapse:模型输出越来越单调,因为它找到了"最保险的回答模板",一直生成类似的东西;
  • 过度谨慎:模型什么都不敢说,动不动"作为 AI 我不能……"——RM 学到"拒绝就得高分"是常见 bug;
  • 回归:某些能力(比如数学、代码)会因为 RLHF 而变差,因为 RM 更偏向"好听"而不是"正确"。

调好 RLHF 是个艺术活。它对数据、参数、RM 质量都极其敏感。

7. DPO:不用 RM 也不用 RL​

RLHF 三步走太复杂太贵。有没有办法直接从偏好数据训练模型?

DPO(Direct Preference Optimization) 给出了答案:有,一步就够。

DPO 的推导用了一个数学技巧。RLHF 的最优策略在数学上有闭式形式:

π∗(y∣x)∝πSFT(y∣x)⋅exp⁡(r(x,y)β)\pi^*(y | x) \propto \pi_{\text{SFT}}(y | x) \cdot \exp\left(\frac{r(x, y)}{\beta}\right)

反过来,从策略里可以反推出隐含的 reward:

r(x,y)=βlog⁡π∗(y∣x)πSFT(y∣x)+constr(x, y) = \beta \log \frac{\pi^*(y | x)}{\pi_{\text{SFT}}(y | x)} + \text{const}

把这个代入 RM 的 Bradley-Terry loss,就得到一个只用策略比值表达的 loss:

LDPO=−log⁡σ(βlog⁡πθ(yw∣x)πSFT(yw∣x)−βlog⁡πθ(yl∣x)πSFT(yl∣x))\mathcal{L}_{\text{DPO}} = -\log \sigma\left(\beta \log \frac{\pi_\theta(y_w | x)}{\pi_{\text{SFT}}(y_w | x)} - \beta \log \frac{\pi_\theta(y_l | x)}{\pi_{\text{SFT}}(y_l | x)}\right)

其中 y_w 是 chosen、y_l 是 rejected。这个 loss 完全不涉及采样、不涉及强化学习、不需要 RM——就是一个普通的监督学习目标。

DPO 的直观理解:

  • 增加 π_θ 在 chosen 上的相对概率;
  • 降低 π_θ 在 rejected 上的相对概率;
  • "相对"是相对于 SFT reference——所以 SFT 已经很好的部分不会被过度修改。

DPO 只需要两份模型(Actor + Reference),显存开销降了一半以上,训练速度也快得多。而且它就是普通的梯度下降,没有 RL 的不稳定问题。

8. DPO 相比 RLHF 的取舍​

DPO 的好:

  • 简单:一步搞定,就是个监督学习;
  • 便宜:显存减半,训练快;
  • 稳定:没有 RL 的方差问题;
  • 效果不错:在很多榜单上和 PPO 差不多。

DPO 的不足:

  • 数据只能用配对偏好(chosen vs rejected),不能像 RLHF 那样用一个连续的 reward 信号;
  • 在线学习难做:RLHF 每一步都用当前模型采样,DPO 是离线固定数据;
  • 对数据分布敏感:DPO 数据的分布和 SFT 模型的分布差太远时效果会打折;
  • 上限可能低于 RLHF:一些顶尖模型(GPT-4、Claude 3)还是选 PPO,说明极限追求下 PPO 有它的价值。

结论:DPO 是"工程实用"的首选——开源社区几乎全都用它。PPO 是"追求上限"的选择——顶尖闭源模型仍在用。做研究实验或者一般产品用 DPO,冲榜或者商业闭源模型用 PPO。

9. 其他变种​

DPO 出来之后,衍生了一大堆变种:

IPO(Identity Preference Optimization):修正了 DPO 的一个数学缺陷——在数据几乎完美线性可分时 DPO 会过拟合。

KTO(Kahneman-Tversky Optimization):不用配对,只用"这个回答好还是不好"的二元标签。数据收集更容易。

ORPO:把 SFT 和偏好优化合成一步,不需要单独的 SFT。适合从头训对齐。

SimPO:不需要 reference 模型,DPO 更进一步的简化。

GRPO(DeepSeek 提出):把 PPO 的 value model 也拿掉,直接用一组采样的平均 reward 做基线。DeepSeek-R1 用的就是这个,训练成本大幅下降。

这些变种都在做同一件事——在效果和成本之间找不同的平衡点。你选哪个主要看资源和数据。

10. 偏好数据从哪来​

无论 PPO 还是 DPO,都需要偏好数据。数据来源大致几类:

人工标注:最贵但质量最高。给几个模型的回答,让人排序。Claude、GPT-4 早期都是这么做的。一条数据大概 0.5−0.5-3。

从更强模型蒸馏:用 GPT-4 或者 Claude 生成 "chosen",用弱模型生成 "rejected"。便宜快,但可能吸收源模型的偏见。开源社区大量在用。

规则生成:某些任务(数学、代码)有客观正确答案。让模型生成多个,用 test case 或者 checker 判断哪个对——对的是 chosen、错的是 rejected。DeepSeek-Math、DeepSeek-Coder 用这条路。

RLAIF(RL from AI Feedback):直接用一个强模型作 judge——给两个回答,问它"哪个更好"。用 AI 代替人做打分。质量比人略差,但成本降一个数量级。

现在越来越多的对齐流程是"以 AI 打分为主 + 少量高质量人工数据校准"。纯人工的 RLHF 只有少数机构还在做。

11. 一些实践细节​

Reference model 一定要冻结。DPO 里 π_SFT 是 reference,它不能训——训了就等于 KL 约束消失,模型会跑飞。

β 值要调。β 越大 KL 惩罚越强、越接近 SFT;β 越小越激进。DPO 的 β 一般在 0.1-0.5 之间。太大模型没变化,太小模型跑偏。

训练时用较小 LR。1e-6 到 5e-6。比 SFT 更小——因为你只是在做微小调整,不是重塑模型。

Epoch 少。DPO 通常 1-2 个 epoch,跑多了容易崩。这和 SFT 类似。

评估很难。你的模型对齐得好不好,不能只看 loss——loss 降不代表用户体验好。要用 Elo 打榜(模型两两比对、人给出胜负)、AlpacaEval / MT-Bench / Arena Hard 这类自动评估基准,或者直接 A/B 测试。

12. 一句话总结​

对齐是把一个"会对话"的模型变成"用起来舒服"的模型:

  • SFT 给正例——教格式和基本行为;
  • RM + PPO(RLHF)用偏好排序做 reward,用 RL 优化——效果好但贵、不稳;
  • DPO 把 RLHF 简化成一个监督 loss——便宜稳定、几乎追上 PPO;
  • 数据是根本——好的偏好数据比好的算法重要。

预训练决定天花板,SFT 决定对话能力,RLHF/DPO 决定用起来的体验。三步走完,你就有了一个真正的对话助手。

下一章我们回到"训练成本"——如果我不想全参数训练,只想低成本微调一个模型呢? 这就是 LoRA 的故事。